省份|运费_Atlas——数据治理工具的使用

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Atlas——数据治理工具的使用相关的知识，希望对你有一定的参考价值。

1、启动前置环境

1. 启动Hadoop 集群
2. 启动Zookeeper 集群
3. 启动Kafka 集群
4. 启动Hbase 集群
5. 启动Solr 集群

2、启动Atlas服务

1. 进入atlas的bin目录&＃xff0c;命令&＃xff1a;cd /home/atlas/atlas/bin
2. 执行启动脚本&＃xff0c;命令&＃xff1a;./atlas_start.py&＃xff0c;等待2min
   
3. 访问hadoop01的21000端口
   
4. 使用默认账号登录&＃xff0c;用户名&＃xff1a;admin&＃xff0c;密码&＃xff1a;admin

Atlas 提供了一个Hive 元数据导入的脚本&＃xff0c;直接执行该脚本&＃xff0c;即可完成Hive 元数据的
初次全量导入。

1、导入元数据

1. 使用hadoop01机器&＃xff0c;进入到hook-bin目录&＃xff0c;命令&＃xff1a;cd /home/atlas/atlas/hook-bin
2. 执行里面的自动化导入脚本&＃xff0c;命令&＃xff1a;./import-hive.sh
3. 中途需要输入密码&＃xff0c;输入系统自带的账户&＃xff1a;admin&＃xff0c;密码:admin
   
4. 等待系统提示成功
   
5. 去Atlas网页&＃xff0c;点击右上角的数据展示&＃xff0c;验证导入成功
   

1、在hive上创建两个表

1. 用hadoop01进入hive
   
2. 创建一张订单事实表

CREATE TABLE dwd_order_info (
&＃96;id&＃96; STRING COMMENT &＃39;订单号&＃39;,
&＃96;final_amount&＃96; DECIMAL(16,2) COMMENT &＃39;订单最终金额&＃39;,
&＃96;order_status&＃96; STRING COMMENT &＃39;订单状态&＃39;,
&＃96;user_id&＃96; STRING COMMENT &＃39;用户id&＃39;,
&＃96;payment_way&＃96; STRING COMMENT &＃39;支付方式&＃39;,
&＃96;delivery_address&＃96; STRING COMMENT &＃39;送货地址&＃39;,
&＃96;out_trade_no&＃96; STRING COMMENT &＃39;支付流水号&＃39;,
&＃96;create_time&＃96; STRING COMMENT &＃39;创建时间&＃39;,
&＃96;operate_time&＃96; STRING COMMENT &＃39;操作时间&＃39;,
&＃96;expire_time&＃96; STRING COMMENT &＃39;过期时间&＃39;,
&＃96;tracking_no&＃96; STRING COMMENT &＃39;物流单编号&＃39;,
&＃96;province_id&＃96; STRING COMMENT &＃39;省份ID&＃39;,
&＃96;activity_reduce_amount&＃96; DECIMAL(16,2) COMMENT &＃39;活动减免金额&＃39;,
&＃96;coupon_reduce_amount&＃96; DECIMAL(16,2) COMMENT &＃39;优惠券减免金额&＃39;,
&＃96;original_amount&＃96; DECIMAL(16,2) COMMENT &＃39;订单原价金额&＃39;,
&＃96;feight_fee&＃96; DECIMAL(16,2) COMMENT &＃39;运费&＃39;,
&＃96;feight_fee_reduce&＃96; DECIMAL(16,2) COMMENT &＃39;运费减免&＃39;
) COMMENT &＃39;订单表&＃39;
ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;\\t&＃39;;


3. 创建一张地区维度表

CREATE TABLE dim_base_province (
&＃96;id&＃96; STRING COMMENT &＃39;编号&＃39;,
&＃96;name&＃96; STRING COMMENT &＃39;省份名称&＃39;,
&＃96;region_id&＃96; STRING COMMENT &＃39;地区ID&＃39;,
&＃96;area_code&＃96; STRING COMMENT &＃39;地区编码&＃39;,
&＃96;iso_code&＃96; STRING COMMENT &＃39;ISO-3166 编码&＃xff0c;供可视化使用&＃39;,
&＃96;iso_3166_2&＃96; STRING COMMENT &＃39;ios-3166-2 编码&＃xff0c;供可视化使用&＃39;
) COMMENT &＃39;省份表&＃39;
ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;\\t&＃39;;


2、使用hive网页功能将数据上传进表中

1. 访问hive网页&＃xff0c;地址&＃xff1a;hadoop01ip:9870&＃xff0c;点击Utilities下拉菜单的Browse the file system选项
   
2. 在搜索栏搜索/user/hive/warehouse/dwd_order_info
   
3. 点击右侧上传按钮将数据上传&＃xff0c;数据下载地址.
4. 或者进入hive中使用命令导入

#追加导入
load data local inpath &＃39;/home/atlas/1.txt&＃39; into table dwd_order_info;
#覆盖导入
load data local inpath &＃39;/home/atlas/1.txt&＃39; overwrite into table dwd_order_info;


3、根据订单事实表和地区维度表&＃xff0c;求出每个省份的订单次数和订单金额

1. 创建查询结果表

CREATE TABLE &＃96;ads_order_by_province&＃96; (
&＃96;dt&＃96; STRING COMMENT &＃39;统计日期&＃39;,
&＃96;province_id&＃96; STRING COMMENT &＃39;省份id&＃39;,
&＃96;province_name&＃96; STRING COMMENT &＃39;省份名称&＃39;,
&＃96;area_code&＃96; STRING COMMENT &＃39;地区编码&＃39;,
&＃96;iso_code&＃96; STRING COMMENT &＃39;国际标准地区编码&＃39;,
&＃96;iso_code_3166_2&＃96; STRING COMMENT &＃39;国际标准地区编码&＃39;,
&＃96;order_count&＃96; BIGINT COMMENT &＃39;订单数&＃39;,
&＃96;order_amount&＃96; DECIMAL(16,2) COMMENT &＃39;订单金额&＃39;
) COMMENT &＃39;各省份订单统计&＃39;
ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;\\t&＃39;;


2. 将查询结果装入结果表中

insert into table ads_order_by_province
select
&＃39;2021-08-30&＃39; dt,
bp.id,
bp.name,
bp.area_code,
bp.iso_code,
bp.iso_3166_2,
count(*) order_count,
sum(oi.final_amount) order_amount
from dwd_order_info oi
left join dim_base_province bp
on oi.province_id&＃61;bp.id
group by bp.id,bp.name,bp.area_code,bp.iso_code,bp.iso_3166_2;


4、查看结果表的血缘关系

1. 查看总体关系
   

5、查看表中某一字段的血缘关系

1. 点击表的Schema
2. 点击某一字段